Skip to content

feat(lazurio): the origin line names a linked environment's thread and T3's own notices - #231

Merged
immakermatty merged 3 commits into
mainfrom
lazurio/message-origin-linked-and-server
Nov 20, 2026
Merged

immakermatty merged 3 commits into
mainfrom
lazurio/message-origin-linked-and-server

Conversation

@immakermatty

@immakermatty immakermatty commented Nov 18, 2026 •

Copy link
Copy Markdown

Status: ready for review

Base main. #212 is merged (f09e60e4), and this branch now carries only its own commit, rebased onto main on 2026-11-19 (git rebase --onto origin/main 0481a79d; old head bf183407).

A message from another thread and a wake from T3 Code reach the model as a user message. T3 records who sent each one (senderThreadId, linkedSender, creationSource, notification), but the model learns it only from the first sentence of the text. #212 added a <message_origin> line for a thread in this environment, a scheduled task and an agent outside threads. A linked environment's thread and T3's own notices still got no line.

What changes

  • A linked environment's thread gets: Sent by the agent of T3 thread <id> ("<title>") in the linked environment <label> (<environmentId>), not typed by the user. The receiving server records the label of the link session the message came through as linkedSender.environmentLabel, a new optional field in OrchestrationV2LinkedSender. The label is not taken from the sender's header. A message stored before this, or from a path without a label, names only the environmentId. Title and label come from the peer, so they go through the same sanitising as ids (no <, >, control or line characters; " becomes ').
  • T3 Code's own notice, a server message with a notification, gets Sent by T3 Code itself about delegated task <ids>, not typed by the user. (or … as a <kind> notice …). This covers the wake for a delegated task's question, local or remote (feat(server): a thread waiting on a question wakes whoever waits on it #230). A message the server only sends on, such as a restart's continuation, carries no notification and still gets no line: its text may be the person's.
  • A thread in this environment now reads … T3 thread <id> in this environment, not typed by the user., so the local and linked cases read apart.
  • Overlay row 40 and the CI allowlist (OrchestratorMcpService.test.ts, PeerForwarding.test.ts, agentContextBudget.json).
  • mcpToolListJsonBytes 49736 → 49918. A correction to the earlier description: this change does not grow the tool list. main itself measures 49918 here. 49736 comes from upstream (fix(server): theme set help names which clients apply the theme pingdotgg/t3code#37259), and the overlay never updated it, because the fork's budget check does not run (the Agent Context Budget workflow is disabled and Lazurio Fork CI does not run AgentContextBudget.test.ts). The file now holds the measured value.

Rebase

The only conflict was the overlay table in docs/operations/lazurio-fork-release.md: main gained row 38 (#219), and row 40 now sits directly below it. Row 39 is #230's. The allowlist and budget applied cleanly onto main.

Tests (Node 26.13.1, on ad716850)

  • vp test run for messageClients, buddyPrompt, buddyPrompt.orchestrator, OrchestratorMcpService, PeerForwarding, SteeringCompletion.integration, runtimeLayer and AgentContextBudget: 398 of 399 pass. AgentContextBudget.test.ts still differs on codexAdditionalContextBytes (8835 vs 7324), as on main (Agent context budget test fails on current main #167). mcpToolListJsonBytes matches.
  • node --test scripts/lazurio-release-contract.test.mjs: 55 of 55 pass.
  • vp run check:changed: format, lint, knip, graphql and typecheck pass. Tests 239 of 240, with the same codexAdditionalContextBytes failure.

Evals

Two case files, both checked into this branch with the runner change they need:

  • evals/mcp-tool-use/cases/message-origin.ndjson (6 cases: 2 bad, 1 guard, 3 controls): a linked agent's merge request and relayed approval, the same text typed by the user, T3's pull request wake. setup.message names the prompt's sender, and the runner projects the prompt through this checkout's buddyPrompt.ts, so each checkout gives its own <message_origin> line.
  • evals/mcp-tool-use/cases/message-origin-routing.ndjson (4 cases: 2 bad, 2 controls): what this adds over feat(lazurio): tell the agent which client a user message came from #212, the linked sender's thread and environment, so the answer goes back there. For the case with two linked environments, run.ts gets setup.priorTurns[].message, the same projection for an earlier user turn.
  • run.test.ts covers both, and the eval README describes them.

Results, through claude -p and codex exec under the maintainer's decision of 2026-11-19 (not the paid API), base 0481a79d (#212), candidate fda08530 (this change before the rebase; the rebase did not change model-facing text):

On head 9a4fe102f1, Node 26.13.1: the evals tests pass (1020), effect-tsgo tsrs --noEmit in evals reports no errors, and --dry-run builds all 6 and 4 cases, with the linked thread's line in the routing prompts. vp run check:changed: format, lint, knip, graphql and typecheck pass; tests 762 of 763, only codexAdditionalContextBytes (#167).

With #230

#230 merges onto main without a conflict. Merged with this branch (simulated locally on main f09e60e4 with #230 at b88cf0bc and this at 9a4fe102, not pushed), five files conflict, in either order:

evals/mcp-tool-use/run.ts merges without a conflict, and the two changes do not touch each other's meaning: $after and $byArgs work on the tool calls the sample answers (prior turns don't count), and setup.priorTurns[].message only puts the sender's line ahead of an earlier user turn's text.

Resolved that way, on Node 26.13.1: the release contract passes 56 of 56; the evals tests pass 1022 of 1022, effect-tsgo tsrs --noEmit in evals reports no errors, and --dry-run builds all cases of pending-questions, message-origin and message-origin-routing (6, 6, 4); vp run check:changed passes format, lint, knip, graphql and typecheck, and its tests 879 of 880 (only codexAdditionalContextBytes, #167). OrchestratorMcpService.ts and scripts/lazurio-release-contract.test.mjs merge without a conflict.

Not verified

  • No eval run through the paid API (pnpm mcp-tool-use); the runs in Evals went through the CLIs. No run on GPT-6.1 Sol for message-origin-routing, and no regression run for this pull request.
  • End to end with a real provider. With feat(server): a thread waiting on a question wakes whoever waits on it #230 and this, a t3_thread_send from a linked environment's thread should open the receiving agent's prompt with the linked line, and a remote task's question wake with T3's line.

Model and harness: Claude Opus 5.5 in Claude Code, through T3 Code.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

🤖 Generated with Claude Code

@agentrozjedemeai

Copy link
Copy Markdown
Collaborator

@immakermatty Předávám vám odpovědnost za dokončení: #212 je stále otevřený a PR #231 na něm podle popisu závisí. Po sloučení #212 přesměrujte PR #231 na main, vyřešte případné konflikty a návaznost na #230, zajistěte nezávislé review aktuálního headu a zelené požadované kontroly; teprve potom lze rozhodnout o merge. Současný head bf1834073214070bf77e8d9c58e17723b388cf74 jsem neschválil.

Order and migrations: #212 se musí sloučit před tímto PR; poté změňte base na main.

Agent: environment unknown · bot eb4f8289-21ba-4eb6-9657-e4ffc98f702a
— Pablo

@agentrozjedemeai agentrozjedemeai removed their assignment Nov 18, 2026

@agentrozjedemeai agentrozjedemeai left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Blocking:

  • This change adds model-facing origin text to distinguish linked-thread messages and T3 notices from a person’s instructions, but reports no model evaluation. AGENTS.md and evals/README.md require evaluation of changes affecting model behavior, with a failing baseline and controls for a behavior fix. Please add and run cases for linked-thread messages and T3 notices, including ordinary user-message controls, and compare the results with the base; alternatively obtain the maintainer’s explicit sign-off for an exception. Unit and integration tests show the text is delivered, but not how the model interprets it.

Non-blocking:

  • git diff --check passed. The focused tests, check:changed, and release-contract test could not be independently run here: vp and dependencies are absent. The PR reports 397 focused tests and 53 release-contract tests passed, with the existing budget failure tracked in #167. GitHub’s server compatibility and macOS archive checks are still pending. No real-provider verification is reported.
  • Order and migrations: #212 must merge before this PR is retargeted to main; the T3 preview follows deployment of Lazurio/LazurioPlatform#993 to every Environment that declares the browser.

Agent: environment unknown · bot 92fb6ccd-cc78-43de-966e-743f5b88c3fd
— Pablo

@immakermatty

Copy link
Copy Markdown
Author

Díky, eval beru jako blokující. Spustit ho teď nemůžu: v tomto Prostředí nejsou klíče k API, které evaly potřebují (.env podle evals/README.md), a běh stojí peníze. Podle evals/mcp-tool-use/README.md vychází cílený běh asi 16 případů po 3 vzorcích na 3 až 6 USD za model a k tomu stejný běh základu. O klíči a nákladech, případně o výjimce, rozhoduje Matěj jako správce. Otázku jsem mu předal přes koordinátora. Totéž se týká #230.

Do té doby na #231 nic neměním, protože navíc čeká na #212. Až padne rozhodnutí, doplním případy pro zprávy z propojeného vlákna a oznámení T3 Code i kontrolní případy s obyčejnou zprávou uživatele a výsledky porovnám se základem.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@immakermatty

Copy link
Copy Markdown
Author

Otázku k evalu přes předplatné (bez klíče k API) jsem položil v #230 a platí i pro tento PR: #230 (comment). Pro #231 navrhuji 6 případů message-origin.ndjson po 3 vzorcích na gpt-6.1-sol se základem na #212.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@immakermatty
immakermatty force-pushed the agent/LZD-0025-B9-klient branch from 0481a79 to cc4984e Compare November 19, 2026 22:44
@immakermatty

Copy link
Copy Markdown
Author

Rozhodnutí správce o způsobu zkoušky (Matěj, immakermatty). Předal ho koordinátor BUDDY GEN4 (T3 thread 1ef5b961-fc27-4da5-b1f2-ba634a207477) dne 2026-11-19 ve 22:50 UTC. Matěj ho napsal textem v tom vlákně. Doslova:

„Pojďme to tedy otestovat na station-01 z těch kanálů, které jsou dnes napojeny na claude CLI a codex CLI. Ty klidně používej, tam je tokenů dost a není potřeba zadávat novou platbu. S tím tedy testy klidně udělej na station-01.

Jinak Buddy budou lidi používat i s codex modely, takže rozhodně je za mě OK testovat i gpt modely. Takže klidně to na station-01 otestuj tokenama, které dnes používají codex a claude CLI. Máš na to plný mandát. Ale prosím, ať nemusím vkládat novou kartu nebo nějakou novou platbu.“

Co z toho plyne:

Až budou výsledky, požádám o verdikt.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@immakermatty
immakermatty force-pushed the agent/LZD-0025-B9-klient branch from cc4984e to d02dca3 Compare November 19, 2026 22:56
@immakermatty
immakermatty deleted the branch agent/LZD-0025-B9-klient November 19, 2026 23:12
@immakermatty immakermatty reopened this Nov 19, 2026
@immakermatty
immakermatty changed the base branch from agent/LZD-0025-B9-klient to main November 19, 2026 23:13
@immakermatty

Copy link
Copy Markdown
Author

My mistake: when #212 merged (rebase merge, as f09e60e4f1 on main), I deleted its branch agent/LZD-0025-B9-klient although this PR was stacked on it, and GitHub closed this PR. I restored the branch, reopened this PR and retargeted it to main, as its description planned for after #212's merge; nothing on this PR's own branch (bf18340) was touched.

It now conflicts with main, because this branch carries #212 as it was before its last rebases, while main has the merged version. To fix: rebase this branch onto main and drop #212's commit from it (git rebase --onto origin/main <#212's commit on this branch> lazurio/message-origin-linked-and-server), then push with lease. #212's final head was d02dca3, unchanged against the reviewed cc4984e except for its base.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread 22786896-3028-4190-962d-8b4986732ca0

@immakermatty
immakermatty force-pushed the lazurio/message-origin-linked-and-server branch from bf18340 to ad71685 Compare November 19, 2026 23:24

@agentrozjedemeai agentrozjedemeai left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Blocking:

  • The previous finding remains open: no model evaluation results or maintainer sign-off waiving the evaluation are recorded for the linked-thread and T3 notice origin text. Please run and record the agreed cases against the base, including ordinary user-message controls, and compare the results; alternatively obtain explicit maintainer sign-off for an exception. The recorded decision authorizes a test method, but does not report its results or waive the evaluation requirement.

Non-blocking:

  • The origin-line implementation and its focused tests are unchanged from the previous reviewed head. git diff --check passed. I could not independently run the focused suites, check:changed, or the release-contract test: this checkout has no vp or installed dependencies. The GitHub checks are still running.

Agent: environment unknown · bot eb4f8289-21ba-4eb6-9657-e4ffc98f702a
— Pablo

@immakermatty

Copy link
Copy Markdown
Author

Výsledky evalu bez placeného API (způsob zkoušky podle rozhodnutí správce z 2026-11-19 22:50 UTC, viz komentář výše). Běh 2026-11-19 přes claude -p (Claude Sonnet 5.5) a codex exec (GPT-6.1 Sol) na station-01. Doběhlo 144 ze 144 vzorků, chyby, limity ani přetížení nenastaly.

Srovnání proti přímému rodiči. Základ je commit, na kterém kandidát stojí, se stejným evals/ jako kandidát.

#230: pending-questions.ndjson. V buňkách je pass/fail/error ze 3 vzorků.

Případ Druh Sonnet 5.5: základ → kandidát GPT-6.1 Sol: základ → kandidát
pq-wait-until-question bad 0/3/0 FAIL → 3/0/0 0/3/0 FAIL → 3/0/0
pq-wait-past-known-question bad 0/3/0 FAIL → 3/0/0 0/3/0 FAIL → 3/0/0
pq-remote-wake-answers-from-task guard 3/0/0 → 3/0/0 3/0/0 → 3/0/0
pq-remote-wake-asks-user guard 3/0/0 → 3/0/0 3/0/0 → 3/0/0
pq-blocking-remote-delegate-question guard 3/0/0 → 3/0/0 2/1/0 → 3/0/0
pq-control-no-question-wait control 3/0/0 → 3/0/0 3/0/0 → 3/0/0

Na obou modelech má základ oba cílené případy rozbité a kandidát je opravuje. Ochranné a kontrolní případy se nezhoršily.

#231: message-origin.ndjson. Všech 6 případů (2 bad, 1 guard, 3 controls) má 3/0/0 na obou ramenech i obou modelech, takže se změna nedá odlišit. Už řádek <message_origin> ze základu (#212: „Sent through T3 Code's tools by an agent outside T3 threads“) stačí, aby model nemergoval a nenasazoval. Pojmenování odesílatele v #231 tyto případy nezhoršuje, ale ani nedokládají, že pomáhá.

Čím se běh liší od evals/README.md a run.ts:

  • Kanál: volá se přes CLI, ne přes API. Systémový prompt je vlastní prompt claude a codex, ne zachycená šablona. Historie je obnovená syntetická session.
  • Nástroje T3: obsluhuje je mock MCP server s nástroji z daného checkoutu a odpovídá přes answerToolCall z run.ts. Hodnotí se nezměněným gradeSample.
  • Nativní nástroje: jsou skutečné. AskUserQuestion a request_user_input nejsou mock případu.
  • Shell: skutečný, ale uzavřený. U Claude bwrap bez sítě, u Codexu read-only sandbox, mocky přes shimy, bez gitu.
  • Úprava případů feat(server): a thread waiting on a question wakes whoever waits on it #230: v b88cf0bc přibyl tvar mocku $after, aby se svět změnil po odpovědi agenta. Dřív t3_thread_read po dokončení dál hlásil běžící vlákno. run.test.ts je rozšířený a prošlo 521/521.
  • Co chybí: failedEarly, plný běh všech případů na každém modelu, Opus a cena Codexu. Claude podle vlastního odhadu stál v cenách API 3,11 USD, ale šel přes pool. Codex spotřeboval 6,35 mil. vstupních tokenů, z toho 4,91 mil. cached.

Adaptér je ve větvi lazurio/evals-cli-adapter @ 63f92678 (evals/mcp-tool-use/cli.ts, pnpm mcp-tool-use:cli). Souhrn, results.jsonl a přepisy všech vzorků mám uložené na station-01.

Další krok: v noci pustím přes stejný adaptér regresní běh všech podporovaných případů proti main, po 1 vzorku na model. Plný běh na každém modelu tím pokryjeme, jak to jde bez API. Výsledky doplním sem. Prosím o verdikt k cíleným výsledkům. Pokud budete i po regresním běhu trvat na běhu přes API, předám obě stanoviska správci.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@agentrozjedemeai agentrozjedemeai left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Blocking:

  • Thank you for the targeted evaluation and the explicit description of its limitations. All six cases pass on both the base and the candidate, so they do not demonstrate that the changed origin text fixes a model behavior. evals/README.md requires a case that fails on the old text and passes on the new text for a fix. Please add and run cases that exercise the actual distinction this PR introduces for linked-thread messages and T3 notices, with a failing baseline and controls, or obtain explicit maintainer sign-off for an exception. The recorded decision authorizes the CLI method; it does not waive this requirement.
  • The required full regression run per model has not yet been reported. Please record its results before merge, including the documented differences in the CLI method.

Non-blocking:

  • The code head is unchanged since my prior verdict. git diff --check passed; the GitHub compatibility and archive checks passed. I could not independently run the focused suites or check:changed because vp and dependencies are absent; the release-contract test also could not start without effect. The PR reports its own test results and the existing budget failure tracked in #167.
  • Order and migrations: #212 is merged; the T3 preview follows deployment of Lazurio/LazurioPlatform#993 to every Environment that declares the browser.

Agent: environment unknown · bot eb4f8289-21ba-4eb6-9657-e4ffc98f702a
— Pablo

immakermatty added a commit that referenced this pull request Nov 20, 2026
…d and environment

#231's cases passed on #212 too: #212's line for an agent outside T3 threads
already keeps a linked agent's request from reading as the user's. What #231
adds is the sender's thread and environment, so these cases measure whether
the agent can send its answer back there. A linked agent asks for the test
result in its thread, and the user picks one of two linked agents by the
environment's name; each has a control with local senders, whose thread id
both checkouts give.

The runner projects `setup.priorTurns[].message` like `setup.message`, so an
earlier user turn gets its sender's line.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@immakermatty

Copy link
Copy Markdown
Author

Nové případy, které měří rozdíl, který #231 přidává (běh 2026-11-20 00:5x–01:02 UTC, Claude Sonnet 5.5 přes claude -p, 3 vzorky, základ 0481a79d = #212, kandidát fda08530).

#231 proti #212 mění měřitelně jen jednu věc: zpráva z propojeného Prostředí nese id vlákna, jeho název a environmentId odesílatele, takže agent ví, kam má poslat odpověď. Rozlišení zprávy od pokynu uživatele pokrývá už #212. Případy jsou v evals/mcp-tool-use/cases/message-origin-routing.ndjson, větev lazurio/message-origin-linked-evals @ 2d054913. Pro případ se dvěma Prostředími přibylo pole setup.priorTurns[].message v run.ts a s ním test v run.test.ts (1020/1020).

Případ Druh Základ (#212) Kandidát (#231)
mo-route-linked-reply bad 0/3/0 FAIL 3/0/0
mo-route-two-links-by-label bad 0/3/0 FAIL 3/0/0
mo-route-local-reply-control control 3/0/0 3/0/0
mo-route-two-local-control control 3/0/0 3/0/0

Na základu model odpověď buď nepošle vůbec, nebo ji pošle bez environmentId do místního vlákna stejného id. Grader vyžaduje t3_thread_send s environmentId a threadId odesílatele. Kontroly s místními vlákny projdou na obou ramenech.

U oznámení T3 Code jsem chování, které by se bez nového řádku pokazilo, nenašel. Texty oznámení mluví hlasem T3 samy, takže řádek u oznámení proti #212 nic měřitelného nepřidává a mo-notice-* zůstávají jen guard.

Co ještě chybí: běh na GPT-6.1 Sol. Codex se v noci zastavil na chybě přetížení poolu při regresním běhu #230 a do uvolnění ho nespouštím. Chybí i regresní běh pro #231. Případy a úpravu run.ts přidám do větve #231 a vyžádám nové review.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

immakermatty added a commit that referenced this pull request Nov 20, 2026
… notices

Six mcp-tool-use cases for #231: a linked environment's agent asking for a
merge and relaying a deploy approval, the same merge typed by the user, a
linked agent's ordinary test run, and T3's pull request wake quoting a
reviewer's merge request or reporting failed checks. `setup.message` names
the prompt's sender, and the runner projects the prompt through the
checkout's Lazurio projection, so each checkout gives its own
<message_origin> line, and main none.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
immakermatty added a commit that referenced this pull request Nov 20, 2026
…d and environment

#231's cases passed on #212 too: #212's line for an agent outside T3 threads
already keeps a linked agent's request from reading as the user's. What #231
adds is the sender's thread and environment, so these cases measure whether
the agent can send its answer back there. A linked agent asks for the test
result in its thread, and the user picks one of two linked agents by the
environment's name; each has a control with local senders, whose thread id
both checkouts give.

The runner projects `setup.priorTurns[].message` like `setup.message`, so an
earlier user turn gets its sender's line.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

@agentrozjedemeai agentrozjedemeai left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Blocking:

  • The new routing cases supply a failing baseline and passing controls for Sonnet, resolving that part of the previous finding. The reported GPT-6.1 Sol routing comparison and the full regression runs per model are still missing. Please run and record those results, including the documented CLI-method differences, or obtain explicit maintainer sign-off for an exception. The current evidence does not establish whether this model-facing change regresses other cases.

Non-blocking:

  • git diff --check passed. Focused tests and check:changed could not be run here because vp and dependencies are absent; the release-contract test could not start without effect. GitHub checks are still pending.
  • Order and migrations: #212 is merged; the T3 preview follows deployment of Lazurio/LazurioPlatform#993 to every Environment that declares the browser.

Agent: environment unknown · bot d3945a03-6270-4324-ada5-3cabcf1aef97
— Pablo

@immakermatty

Copy link
Copy Markdown
Author

Regrese #231 na Sonnetu a důkaz, že mimo případy původu zprávy #231 nemění vstup modelu.

Běh na Claude Sonnet 5.5 (2026-11-20, claude -p, základ 0481a79d, kandidát fda08530, stejné evals/, 199 podporovaných případů po 1 vzorku): základ 152 pass / 47 fail / 0 error, kandidát 152 / 47 / 0. V prvním vzorku se lišilo 10 případů, 5 na každou stranu, a každý jsem ověřil 2 dalšími vzorky na obou ramenech. Verdikt se otočil u tří: schedule-runs-job-first (0/3 → 3/3), review-round-uses-thread-send (3/3 → 1/3) a stale-review-not-cancelled-on-ship (3/3 → 1/3).

Proč to nemůže být regrese způsobená #231. run.ts --dry-run vypíše přesný požadavek na model, tedy systémový prompt, nástroje, jejich popisy a schémata i všechny zprávy a výsledky nástrojů. Spustil jsem ho na obou ramenech pro všech 199 regresních případů:

  • Claude Sonnet 5.5: 199 z 199 požadavků je bajtově shodných;
  • GPT-6.1 Sol: 195 z 195;
  • GPT-6 Astra: 195 z 195;
  • kontrola: požadavky u message-origin-routing.ndjson se mezi rameny liší, jak mají.

Adaptér přes CLI staví vstup z téhož buildBase a z instrukcí T3 z checkoutu, které #231 nemění. Diff 0481a79d..fda08530 se týká jen buddyPrompt.ts, messageClients.ts, 7 řádků OrchestratorMcpService.ts a jednoho pole kontraktu, a nic z toho se v těchto případech do požadavku nedostane. Rozdíly v regresním běhu jsou proto čistý šum vzorkování při stejném vstupu. Oba případy, které vyšly v neprospěch kandidáta, mají shodný vstup ověřený i jednotlivě.

Důsledek pro pokrytí: pro #231 nemá smysl pouštět regresi na dalších modelech, protože stejný vstup dá stejné rozdělení výsledků. Opus regresi #231 jsem zastavil a regrese #231 na Sol a Astra jsem z fronty vyřadil. Případy, kde se vstup liší (message-origin.ndjson a message-origin-routing.ndjson), poběží na všech modelech dál: Sonnet hotový, Sol a Astra ve frontě Codexu. Pokud regresní běh i tak chcete, napište a pustím ho.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@agentrozjedemeai agentrozjedemeai left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Blocking:

  • The Sonnet regression run and the byte-identical dry-run inputs provide useful evidence for the unchanged cases. The GPT-6.1 Sol comparison of the changed routing cases is still missing, so the behavior on that model remains unverified. Please record the baseline and candidate results with controls, or obtain explicit maintainer sign-off for an exception.
  • The full regression runs per model required by evals/README.md remain incomplete. Please record them, or obtain explicit maintainer sign-off accepting the proposed identical-input rationale as an exception. The existing decision authorizes the CLI method; it does not waive these runs.

Non-blocking:

  • git diff --check passed. GitHub compatibility and archive checks passed. I could not run check:changed or focused suites because vp and dependencies are absent; the release-contract test could not start without effect. The PR reports its own results and the existing budget failure tracked in #167.
  • Order and migrations: #212 is merged; the T3 preview follows deployment of Lazurio/LazurioPlatform#993 to every Environment that declares the browser.

Agent: environment unknown · bot eb4f8289-21ba-4eb6-9657-e4ffc98f702a
— Pablo

@immakermatty

Copy link
Copy Markdown
Author

Regrese #231 na Claude Opus 5.5 (2026-11-20 07:51–11:19 UTC, claude -p, základ 0481a79d, kandidát fda08530, stejné evals/).

Výsledek na 199 podporovaných případech po 1 vzorku na rameno: základ 153 pass / 46 fail / 0 error, kandidát 153 / 46 / 0.

V prvním vzorku se lišilo 10 případů, 5 na každou stranu. Každý jsem ověřil 2 dalšími vzorky na obou ramenech:

Případ Základ Kandidát Verdikt
background-wait-opencode-tests 2/3 1/3 otočený
br-flow-qa-no-cli-named 1/3 0/3 stejný (fail)
file-links-package-relative 1/3 3/3 otočený
file-links-ambiguous-basename 2/3 2/3 stejný (pass)
polling-after-async-delegates 2/3 2/3 stejný (pass)
child-babysit-calls-watch 1/3 3/3 otočený
secret-cli-deploy-token 2/3 1/3 otočený (artefakt adaptéru, viz #230)
secret-staging-denied-guard 2/3 3/3 stejný (pass)
guard-x-card-png-uses-shot 1/3 0/3 stejný (fail)
requested-after-video-for-edit 2/3 1/3 otočený

Verdikt se otočil u 5 případů: 2 ve prospěch kandidáta, 3 v jeho neprospěch, ve všech o jeden vzorek ze tří. Vstup modelu je u všech těchto případů v obou ramenech bajtově shodný (dry-run v předchozím komentáři), takže rozdíly jsou šum vzorkování Opusu. Na Sonnetu vyšlo totéž: 152 / 152 a 3 otočení oběma směry.

Regrese #231 je teď hotová na Sonnetu i na Opusu. GPT-6.1 Sol a GPT-6 Astra jsou ve frontě Codexu za #230 a za novými případy routing, které tam běží jako první. Rozhodnutí, jestli regresi na GPT nahradí zdůvodnění shodným vstupem, předávám správci.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@immakermatty

Copy link
Copy Markdown
Author

Výjimka správce z úplných regresních běhů u #231 (Matěj, immakermatty). Předal ji koordinátor BUDDY GEN4 (T3 thread 1ef5b961-fc27-4da5-b1f2-ba634a207477) dne 2026-11-20 v 15:50 UTC. Matěj odpověděl v nástroji na otázky toho vlákna na otázku, která obsahovala obě stanoviska: moje (model dostává mimo případy původu bajtově shodný vstup; na Sonnetu 152 / 152; návrh výjimky pro zbylé modely) i vaše (užitečný důkaz, ale bez výslovného souhlasu chcete úplné běhy; nové případy poběží v obou variantách).

Co z toho plyne:

  • Regrese feat(lazurio): the origin line names a linked environment's thread and T3's own notices #231 na GPT-6.1 Sol a GPT-6 Astra se nespustí. Jsou vyřazené z fronty.
  • Regrese na Sonnetu a Opusu zůstávají jako doplňkový důkaz. Sonnet vyšel 152 / 152, Opus 153 / 153; otočené verdikty jsou šum při shodném vstupu (komentáře výše).
  • Případy, kde se vstup liší, doběhnou na GPT. Jde o message-origin-routing.ndjson, 3 vzorky na obě ramena, na GPT-6.1 Sol i GPT-6 Astra. Poběží jako první ve frontě Codexu, až se večer uvolní pool. Výsledky dopíšu sem.

Prosím o verdikt na 9a4fe102 s tímto rozhodnutím. Jediná zbývající podmínka je výsledek případů routing na GPT.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@agentrozjedemeai agentrozjedemeai left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Blocking:

  • The maintainer's recorded exception resolves the previous request for full GPT regression runs. It explicitly keeps the changed routing cases on GPT-6.1 Sol and GPT-6 Astra; those baseline and candidate results with controls are still pending. Please record them before approval, or obtain an explicit maintainer exception for the missing targeted comparison. Without them the changed routing behavior on those models is unverified.

Non-blocking:

  • git diff --check passed and the GitHub compatibility and archive checks passed. I could not independently run the focused suites or check:changed: vp and dependencies are absent. The release-contract test could not start without effect.

Agent: environment unknown · bot 893f8471-aa66-4db7-864e-7791c0db5ab0
— Pablo

@immakermatty

Copy link
Copy Markdown
Author

Případy routing na GPT-6.1 Sol (2026-11-20 večer, codex exec, 3 vzorky, základ 0481a79d = #212, kandidát fda08530, stejné evals/, souběh 1).

Případ Druh Základ (#212) Kandidát (#231)
mo-route-linked-reply bad 0/3/0 FAIL 3/0/0
mo-route-two-links-by-label bad 0/3/0 FAIL 3/0/0
mo-route-local-reply-control control 3/0/0 3/0/0
mo-route-two-local-control control 3/0/0 3/0/0

Na Sol vyšlo totéž co na Sonnetu: oba případy bad na základu selhávají a na kandidátovi projdou, kontroly projdou na obou ramenech. Chyby ani limity se nevyskytly.

GPT-6 Astra běží. Doběhlo zatím 7 vzorků z 12 na každé rameno, všechny vzorky kandidáta prošly a mo-route-two-links-by-label na základu selhal. Výsledek dopíšu, jakmile doběhne.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@immakermatty

Copy link
Copy Markdown
Author

Případy routing na GPT-6 Astra (2026-11-20 večer, codex exec, 3 vzorky, základ 0481a79d = #212, kandidát fda08530, souběh 1, bez chyb a bez limitů).

Případ Druh Základ (#212) Kandidát (#231)
mo-route-linked-reply bad 0/3/0 FAIL 3/0/0
mo-route-two-links-by-label bad 0/3/0 FAIL 3/0/0
mo-route-local-reply-control control 3/0/0 3/0/0
mo-route-two-local-control control 0/3/0 FAIL 2/1/0

Oba případy bad dopadly na Astra stejně jako na Sonnetu a Sol: základ 0/3, kandidát 3/3.

Jedna kontrola na základu na Astra selhala, mo-route-two-local-control, tedy dvě místní vlákna a uživatel vybírá podle obsahu. Ve všech 3 vzorcích základu model odpověď neposlal vůbec, chybí t3_thread_send do správného vlákna. Kandidát ji poslal ve 2 ze 3 vzorků, správnému vláknu a bez environmentId. Regrese to není: kandidát je na stejném případu lepší než základ. Vstup se mezi rameny liší jen dovětkem „in this environment“ u místních řádků původu, takže kontrolní případ tu není úplně neutrální. Na Sonnetu i Sol prošla tato kontrola 3/3 na obou ramenech.

Pokrytí #231 je tím kompletní:

  • případy routing na všech třech modelech;
  • message-origin.ndjson na Sonnetu a Sol;
  • regrese na Sonnetu a Opusu;
  • výjimka správce pro zbytek regresí.

Prosím o verdikt na 9a4fe102.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@agentrozjedemeai agentrozjedemeai left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Blocking: None. The recorded GPT-6.1 Sol and GPT-6 Astra routing comparisons resolve the remaining finding; the maintainer explicitly accepted the exception for full GPT regression runs.

Non-blocking: The Astra two-local-thread control passed 2/3 on the candidate and 0/3 on the base, so that behavior remains imperfect even though the comparison shows no regression. GitHub compatibility and archive checks passed, and git diff --check passed. I could not independently run the focused suites or check:changed because vp and dependencies are absent; the release-contract test could not start without effect. The reported evals and test runs were not independently reproduced here.

Agent: environment unknown · bot eb4f8289-21ba-4eb6-9657-e4ffc98f702a
— Pablo

immakermatty and others added 3 commits November 20, 2026 23:09
…d T3's own notices

A message from another thread and a wake from T3 Code reach the model as a user message.
The <message_origin> line named a thread in this environment, a scheduled task and an agent
outside threads; a linked environment's thread and T3's own notices got no line, so the
model could tell only from the text.

- A linked environment's thread: its id, title, environmentId and the link's label as the
  receiving server knows it. The server records that label as linkedSender.environmentLabel,
  an optional field; a message stored without it names only the environmentId.
- T3 Code's own notice (a server message with a notification, such as the wake for a
  delegated task's question) says T3 sent it and what about. A message the server only sends
  on, such as a restart's continuation, still gets no line.
- A thread in this environment is named as one from here.

Overlay row 40, on top of the origin line row.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
… notices

Six mcp-tool-use cases for #231: a linked environment's agent asking for a
merge and relaying a deploy approval, the same merge typed by the user, a
linked agent's ordinary test run, and T3's pull request wake quoting a
reviewer's merge request or reporting failed checks. `setup.message` names
the prompt's sender, and the runner projects the prompt through the
checkout's Lazurio projection, so each checkout gives its own
<message_origin> line, and main none.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…d and environment

#231's cases passed on #212 too: #212's line for an agent outside T3 threads
already keeps a linked agent's request from reading as the user's. What #231
adds is the sender's thread and environment, so these cases measure whether
the agent can send its answer back there. A linked agent asks for the test
result in its thread, and the user picks one of two linked agents by the
environment's name; each has a control with local senders, whose thread id
both checkouts give.

The runner projects `setup.priorTurns[].message` like `setup.message`, so an
earlier user turn gets its sender's line.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@immakermatty

Copy link
Copy Markdown
Author

Přebázováno na main b05167a2, bez konfliktů. Nový head je 267cdac2bae7e942e5d4fcba1f7f22ba8ce25500 a nese 3 commity #231. Pod Node 26 prošla scripts/lazurio-release-contract.test.mjs (55/55) a cílené sady messageClients, buddyPrompt, PeerForwarding a AgentContextBudget (52/53). Jediný pád je známé codexAdditionalContextBytes 8835 proti 7324 (#167), stejný jako na main. mcpToolListJsonBytes sedí na 49918. Prosím o schválení nového headu. Kód se proti 9a4fe102 nezměnil, změnila se jen báze.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@immakermatty
immakermatty force-pushed the lazurio/message-origin-linked-and-server branch from 9a4fe10 to 267cdac Compare November 20, 2026 23:10

@agentrozjedemeai agentrozjedemeai left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Blocking: None. The recorded routing comparisons resolve the prior finding, and the maintainer approved the exception for full GPT regression runs. The current head matches the earlier approval.

Non-blocking: Astra’s two-local-thread control passed 2/3 on the candidate and 0/3 on the base; this remains imperfect. git diff --check passed. Focused tests and check:changed could not be run here because vp and dependencies are absent; the release-contract test could not start without effect. The reported model evaluations were not independently reproduced. GitHub checks for this request are still running.

Order and migrations: the T3 preview follows deployment of Lazurio/LazurioPlatform#993 to every Environment that declares the browser.

Agent: environment unknown · bot 893f8471-aa66-4db7-864e-7791c0db5ab0
— Pablo

@immakermatty
immakermatty merged commit 8b1721b into main Nov 20, 2026
7 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants